（文/ 呂棟）

“芯片問題其實(shí)沒必要擔(dān)心，系統(tǒng)論用疊加和集群等方法，芯片計(jì)算結(jié)果上與最先進(jìn)水平是問題相當(dāng)?shù)摹！苯冢挥萌A為總裁任正非的擔(dān)心一次公開發(fā)聲，增強(qiáng)了社會各界對中國AI發(fā)展的華為何信心。

我們都知道，系統(tǒng)論中國已經(jīng)形成了“百模千態(tài)”的芯片大模型產(chǎn)業(yè)，有多個大模型走在全球前列。問題但無論AI產(chǎn)業(yè)如何發(fā)展，不用算力都是擔(dān)心驅(qū)動模型演進(jìn)的根本動力。隨著外部技術(shù)封鎖步步緊逼，華為何國產(chǎn)算力能否擔(dān)當(dāng)大用？系統(tǒng)論是否只能做推理而不能做復(fù)雜訓(xùn)練？很多人其實(shí)心里沒底。

“我們單芯片還是芯片落后美國一代，我們用數(shù)學(xué)補(bǔ)物理，問題非摩爾補(bǔ)摩爾，用群計(jì)算補(bǔ)單芯片，在結(jié)果上也能達(dá)到實(shí)用狀況。”任正非的公開發(fā)聲，給國內(nèi)AI產(chǎn)業(yè)吃下了一顆“定心丸”。

帶著對國產(chǎn)算力發(fā)展的關(guān)心，與華為2012實(shí)驗(yàn)室的技術(shù)專家的做了一次交流，我們了解到，昇騰算力不僅實(shí)現(xiàn)推理性能全球領(lǐng)先，同時系統(tǒng)穩(wěn)定性也保持在高水平，能高效訓(xùn)出世界一流的萬億參數(shù)大模型。尤其是CloudMatrix 384超節(jié)點(diǎn)技術(shù)，以系統(tǒng)補(bǔ)單點(diǎn)，從堆芯片到拼架構(gòu)，核心指標(biāo)比肩英偉達(dá)，成為中國AI發(fā)展的堅(jiān)實(shí)算力底座。

芯片問題為何不用擔(dān)心？

在外部制裁圍堵下，芯片問題就像“達(dá)摩克里斯之劍”一樣，一直懸在中國產(chǎn)業(yè)界頭上。尤其隨著中美AI競爭愈發(fā)激烈，美國一方面竭力遏制中國先進(jìn)芯片制造的能力，另一方面又不斷收緊對英偉達(dá)高端芯片的出口管制，試圖讓中國AI產(chǎn)業(yè)在“算力囚籠”中止步不前。

但危中也有機(jī)。行業(yè)的發(fā)展趨勢是，當(dāng)Transformer這樣的大型神經(jīng)網(wǎng)絡(luò)模型橫空出世，萬億參數(shù)模型開始涌現(xiàn)，對算力和顯存的需求呈爆炸式增長，單個GPU甚至單個服務(wù)器都難以招架，集群算力成為大勢所趨，這也給中國用系統(tǒng)方法解決算力困境帶來契機(jī)。

說起“系統(tǒng)論”，老一輩中國人可能并不陌生。錢學(xué)森的《論系統(tǒng)工程》，核心思想就是把研究對象看做一個整體而不是孤立的點(diǎn)，通過整體優(yōu)化彌補(bǔ)單點(diǎn)落后。

華為制裁中突圍，正是受到系統(tǒng)工程的啟發(fā)。技術(shù)專家對表示，算力基礎(chǔ)設(shè)施是復(fù)雜的系統(tǒng)，華為把各個部分打通了，在內(nèi)部組織了算力會戰(zhàn)，把華為云、模型、底座、芯片、硬件工程、基礎(chǔ)軟件的研發(fā)力量集結(jié)在一起，跨部門作戰(zhàn)，深度協(xié)同。這樣的環(huán)境和機(jī)制，能夠產(chǎn)生協(xié)同效應(yīng)和系統(tǒng)工程的整合，實(shí)現(xiàn)了“大雜燴”技術(shù)的有效利用和協(xié)同創(chuàng)新。

基于系統(tǒng)工程，華為構(gòu)建了巨型算力基礎(chǔ)設(shè)施CloudMatrix 384超節(jié)點(diǎn)，通過全對等高速互聯(lián)架構(gòu)，讓384張昇騰卡可以像一臺計(jì)算機(jī)一樣工作。它的算力總規(guī)模達(dá)300Pflops，是英偉達(dá)旗艦NVL72的1.7倍；網(wǎng)絡(luò)互聯(lián)總帶寬達(dá)269TB/s，比英偉達(dá)NVL72提升107%；內(nèi)存總帶寬達(dá)1229TB/s，比英偉達(dá)NVL72提升113%。更關(guān)鍵的是，它還能擴(kuò)展為包含數(shù)萬卡的Atlas 900 SuperCluster超節(jié)點(diǎn)集群，未來可以支撐更大規(guī)模的模型演進(jìn)。

“超節(jié)點(diǎn)是復(fù)雜系統(tǒng)，單卡的技術(shù)指標(biāo)并不代表系統(tǒng)的效能，我們‘系統(tǒng)工程’，要達(dá)到的是系統(tǒng)最佳，而不是單點(diǎn)最強(qiáng)。解決這些超復(fù)雜系統(tǒng)的問題需要懂理論，如系統(tǒng)論，控制論，信息論，計(jì)算數(shù)學(xué)等；同時，我們通過數(shù)學(xué)的方法對計(jì)算系統(tǒng)進(jìn)行建模、仿真，想辦法把每一部分都用起來，做到不浪費(fèi)，各個部分完美配合，高效協(xié)同。”華為技術(shù)專家表示。

我們都知道，芯片制造遵循著“摩爾定律”，但前提是獲取先進(jìn)的設(shè)備材料。在制裁圍堵下，華為通過復(fù)雜系統(tǒng)優(yōu)化，實(shí)現(xiàn)了“非摩爾補(bǔ)摩爾”的效果，讓單芯片短板不再是制約。

華為技術(shù)專家指出，單芯片制程從7納米到5納米、3納米、2納米，每代性能提升不超過20%，總體能提升50%左右。華為通過高效的超節(jié)點(diǎn)系統(tǒng)，提升了芯片算力利用率。“MoE大模型訓(xùn)練，我們以前MFU（模型算力利用率）是30%，業(yè)界也是差不多這個水平，我們最新公布的數(shù)據(jù)提升到41%，實(shí)驗(yàn)室是45%多。從30%提升到45%，利用率相當(dāng)于提升了50%。在硬件什么也沒有改變的情況下，通過系統(tǒng)工程的優(yōu)化，資源的高效調(diào)度，一定程度彌補(bǔ)了芯片工藝的不足。”

“西方不斷打補(bǔ)丁，我們重新定義架構(gòu)”

華為被制裁的這幾年，算力產(chǎn)業(yè)其實(shí)也處在變革過程中。

隨著大模型Scaling Law（尺度定律）的持續(xù)演進(jìn)，整個AI行業(yè)產(chǎn)生了巨量算力需求。但是傳統(tǒng)的計(jì)算集群已經(jīng)出現(xiàn)瓶頸，無限制的堆卡并不能帶來算力的線性提升，反而會產(chǎn)生“內(nèi)存墻”、“規(guī)模墻”和“通信墻”的問題。這是因?yàn)樵诩簝?nèi)部，算力卡之間和服務(wù)器之間并不是獨(dú)立工作，而是需要邊計(jì)算邊“溝通”，如果通信能力跟不上，就會出現(xiàn)算力閑置。

過去8年間，單卡硬件算力增長了40倍，但節(jié)點(diǎn)內(nèi)總線帶寬只增長了9倍，跨節(jié)點(diǎn)的網(wǎng)絡(luò)帶寬只增長了4倍，這使得集群網(wǎng)絡(luò)通信成為當(dāng)前大模型訓(xùn)練和推理的最大挑戰(zhàn)。因此如果不能提升通信效率，單純把384張昇騰卡堆起來，計(jì)算效果并不一定就比72張英偉達(dá)卡更好，因?yàn)榭ㄩg和服務(wù)器間的通信開銷會抵消算力增加的收益，導(dǎo)致有效算力不升反降。

作為算力產(chǎn)業(yè)先行者，英偉達(dá)早早意識到這個問題。黃仁勛的做法是，把之前消費(fèi)級顯卡上的NVLink技術(shù)移植到計(jì)算集群中，相當(dāng)于給GPU之間搭建一條“專用超寬車道”并且把多顆GPU、CPU、高帶寬內(nèi)存、NVLink/NVSwitch等高度集成，打造了NVL72超節(jié)點(diǎn)。

但問題是，NVLink只能用于英偉達(dá)自家GPU之間的通信，節(jié)點(diǎn)內(nèi)的NPU、FPGA等非GPU異構(gòu)硬件，并不能走這條“超寬車道”，還是要通過效率較低的PCIe協(xié)議走CPU中轉(zhuǎn)，同時節(jié)點(diǎn)之間通過以太網(wǎng)/InfiniBand等協(xié)議跨機(jī)互聯(lián)，在巨量計(jì)算中也存在帶寬堵點(diǎn)。

不同于這種做法，華為CloudMatrix 384超節(jié)點(diǎn)對計(jì)算架構(gòu)進(jìn)行重構(gòu)，徹底打破了傳統(tǒng)以CPU為中心的馮諾依曼架構(gòu)，創(chuàng)新提出了“全對等架構(gòu)”。它通過3168根光纖和6912個400G光模塊構(gòu)建了高速互聯(lián)總線，并把總線從服務(wù)器內(nèi)部擴(kuò)展到整機(jī)柜、甚至跨機(jī)柜，最終將CPU、NPU、DPU、存儲和內(nèi)存等資源全部互聯(lián)和池化，這樣做就能去除掉了繁多的中轉(zhuǎn)環(huán)節(jié)，從而實(shí)現(xiàn)真正的點(diǎn)對點(diǎn)互聯(lián)，進(jìn)而實(shí)現(xiàn)更大的算力密度和互聯(lián)帶寬。

“西方是繼承發(fā)展，任總形象地比喻為‘百納衣’，就是衣服破了以后不斷地打補(bǔ)丁，協(xié)議不同，互通要轉(zhuǎn)換的，包頭套包頭，有效載荷就很小了。我們重新定義了對等的架構(gòu)，統(tǒng)一了所有的通信協(xié)議，互通就不需要轉(zhuǎn)換，提升了有效載荷。”華為技術(shù)專家對說道。

“打鐵還需自身硬，充分滿足國內(nèi)需要”

華為構(gòu)建了這么強(qiáng)大的昇騰算力，實(shí)際應(yīng)用效果怎么樣？尤其是在英偉達(dá)高端算力被封鎖的情況下，昇騰算力到底能不能給中國AI發(fā)展帶來底氣和信心？這是行業(yè)內(nèi)外真正關(guān)心的。